Нестерова Н

Нестерова Н.В.

КОМПЬЮТЕРНОЕ ТЕСТИРОВАНИЕ
СТУДЕНТОВ ЗА РУБЕЖОМ

Одна из важнейших тенденций развития форм контроля знаний студентов – беспрецедентное по своим масштабам распространение компьютерного тестирования.

В XX в. тест перешагнул границы большинства стран, превратившись в метод исследования, широко применяющийся в самых различных областях человеческой деятельности.

В настоящее время исследования в области тестирования представляют собой мощное направление мировой педагогики, психологии и множества других заинтересованных наук. Оно охватывает практически все области образования: от дошкольного до поствузовского.

Наибольшие достижения в области теории и практики тестирования наблюдаются, прежде всего, в США. Изучение опыта только одной этой страны позволяет подняться на уровень главных мировых результатов, полученных в рассматриваемом направлении. США – это своего рода “законодатель мод” в тестировании. Вот почему анализу их опыта мы уделяем особенно большое внимание.

США уже давно обладают самой мощной и развитой “индустрией” тестирования, являясь бесспорным мировым лидером в этой области. В стране существует разветвленная система государственных и негосударственных организаций, учреждений, фирм, специализирующихся в области теоретических исследований проблематики тестирования, разработки новых тестов, консалтинга по тестированию, оказания различных услуг, связанных с внедрением и использованием своей продукции. Некоторые из них представляют собой авторитетнейшие международные организации, имеющие филиалы, отделения, центры в самых различных странах мира, включая Россию. В целом актив этих организаций включает около 40000 различных тестов.

Ведущая из них – частная некоммерческая Служба образовательного тестирования (СОТ) (Educational testing service – ETS). Это самая крупная в мире организация, специализирующаяся в разработке тестов, их внедрении научных исследованиях в данной области. СОТ обслуживает отдельных лиц, учреждения, правительственные органы почти в 200 странах мира.

Главная цель СОТ – разработка, совершенствование, развитие тестов и других инструментов оценки, организация их использования, информирование о них тех, кто проходит тестирование, а также образовательных учреждений и вообще всех, кому требуются данные такого рода. В последние десятилетия ее деятельность вышла за пределы США и охватила практически все мировое образовательное пространство.

На основе уже имеющихся ресурсов СОТ постоянно укрепляет свои позиции на всех образовательных рынках (общее среднее образование, профессиональное образование, международная арена - Европа, Азия, Латинская Америка), предлагая потенциальным пользователям большой ряд уникальных услуг, связанных с самыми различными аспектами тестирования.

Служба была основана в 1947 г., когда Американский совет по образованию (American Council on Education), Фонд Карнеги по развитию обучения (Carnegie Foundation for the Advancement of Teaching) и Совет по вступительным экзаменам в колледжи (College Entrance Examination Board) передали часть своих средств и сотрудников в распоряжение впервые создаваемой единой общегосударственной организации, деятельность которой должна была быть посвящена исключительно образовательному тестированию и исследованиям в этой области. Эта организация получила название Служба образовательного тестирования – (Educational Testing Service, ETS) http://www.ets.org.

В фондах Службы насчитывается более 20000 тестов и других средств измерения качеств личности, которые были созданы в период с 1900-х гг. по настоящее время. Представлены также иностранные тесты, в том числе из Канады, Великобритании, Австралии и других стран. Это самое большое в мире собрание тестов.

Область тестирования, обеспечиваемая Службой, носит универсальный характер. Однако имеются некоторые главные программы. К ним относятся:

- CLEP® – College Level Examination Program® – программа экзаменации на уровне колледжа;

- GRE® – Graduate Record Examinations® – программы письменных экзаменов для старшекурсников (магистрантов);

- PRAXISTM – The Praxis Series: Professional Assessments for Beginning Teachers® – программа оценки профессионализма начинающих учителей;

- SAT® – SAT I: Reasoning Test and SAT II: Subject Tests – программа выявления способностей к обучению;

- TOEFL® – Test of English as a Foreign Language – программа тестирования по английскому как иностранному языку и др.

Большая работа в области тестирования ведется фирмми Kaplan Test Prep [http://www.kaptest.com], LearnATest [http://www.learnatest.com], Educational Software Institute’s (ESI’s) Online Catalog of Educational Software [http://www.edsoft.com/c/@p4jNsXYLlAYFA/catalog.html], SmarterKids.com [http://smarterkids.com], FAPI International [http:// www.fapii.com], The Princeton Review [http://www.review.com/], Sylvan Learning Systems, Inc. [http://www.educate.com/], Stanford Testing Systems, Inc. и др.

В мире, главным образом, в США, есть издательства, которые специализируются на публикации в Интернет тестов, доступных пользователям в онлайновом режиме. В их число входят: PanTesting – Performance Assessment Network, ACT: Information for Life’s Transitions [http://www.act.org/], American Guidance Service, Inc. [http://www.agsnet.com/], Australian Council for Educational Research [http://www.acer.edu.au/], Ballard & Tighe Publishers [http://www.ballard-tighe.com/], Center for Applied Linguistics[http://www.cal.org/] и др.

Информационный центр в области педагогических ресурсов (ERIC, США) обеспечивает очень эффективный доступ к разнообразной информации о тестах через сайт The Test Locator [http://ericae.net/testcol.htm].

Существует целая подсистема тестов, предназначенная для измерения уровня знаний, навыков, умений, других качеств студентов университетов и колледжей.Назовем только некоторые из них: A.S.S.E.T.S.: A Survey of Students’ Educational Talents and Skills (обследование талантов и навыков студентов), Analytical Thinking Test (тест аналитичности мышления), CLEP Examination in American Literature (тест по американской литературе), CLEP Examination in English Literature (тест по английской литературе),CLEP Examination in Information Systems and Computer Applications (тест по применению информационных систем и компьютеров), College Board Institutional SAT II: English Language Proficiency Test (тест по английскому языку для студентов колледжей), Graduate Record Examinations Psychology Test (тест для студентов вузов по психологии) и др.

Как это ни парадоксально, в США ведется почти постоянная “война” против тестов Критики тестов многочисленны. Они утверждают, что американская “меритократия” не служит в равной мере всем членам общества. Как им видится, реальная проблема заключается не в способностях тех, кто проходит тестирование, представители меньшинств или других слоев общества, а в самих тестах и неумеренном уповании на них тех, кто стоит у “ворот” американского высшего образования.

Самое старое и наиболее известное обвинение против стандартизированных тестов состоит в том, что они носят дискриминационный характер. В них, мол, скрывается “расовая, культурная и половая пристрастность”.

SAT порождает такие несопоставимые результаты, говорят критики, потому, что сама его сущность содержит в себе предпочтение одних студентов другим. В соответствии с этим полное понимание чтения выборки может зависеть от знаний, накопленных в прошлом, естественно, доступных студентам-выходцам из высшего и среднего класса, но совершенно недоступных для черных студентов из гетто-представителей низшего класса.

В целом кампания против стандартизированных тестов ныне образует значительный вызов тому, что некогда рассматривалось как самое объективное средство идентификации и ранжирования способностей к обучению.

Однако, на наш взгляд, – и тут мы полностью солидаризируемся с защитниками тестов – вся эта критика не имеет под собой достаточных оснований, хотя, конечно, нельзя бросаться и в другую крайность, т.е. фетишизировать тесты.

Не подтверждается мнение о том, что тесты носят расистский характер. Потенциал тестов не содержит в себе каких-либо расовых предпочтений. Результаты различных тестов хорошо коррелируются друг с другом. Это истинно как для расовых, так и этнических групп. Не случайно еще в 1980 г. Национальная академия наук (США) сделала заключение, что наиболее часто используемые стандартизированные тесты не проявляют каких-либо свидетельств культурных пристрастий.

Оценки, полученные абитуриентами при тестировании, как правило, соответствуют тем оценкам, которые они получают уже в качестве студентов. Более того, некоторые специалисты доказывают, что некоторые тесты на самом деле завышает оценки черным и испано-язычным студентам.

Противники тестирования близки к истине, когда говорят, что женщины учатся в колледжах лучше, чем показало тестирование. Но это расхождение ничтожно малое: всего десятая часть балла при четырехбалльной шкале оценок.

Что касается сильной зависимости от годового дохода, факты говорят о другом. Студенты с одинаковым доходом оцениваются не одинаково. Исследование в Калифорнии показало, что среди студентов, годовой доход семей которых составляет свыше 70000 долл. США, средний балл черных оказывается ниже среднего балла, отставая от испано-говорящих студентов на 79 пунктов, от белых – на 148 пунктов, от азиатских студентов – на 193 пункта. Это опровергает точку зрения, что экономическое неблагополучие отрицательно сказывается на результатах тестирования.

Убедительным свидетельством высокого качества тестов является их стандартизация в соответствии с высокими критериями валидности, тщательная всесторонняя проверка перед внедрением в реальную педагогическую практику. Довольно полно и точно все процедуры разработки, проверки и использования тестов прописывает “Кодекс объективности практики тестирования в области образования” (Code of Fair Testing Practices in Education), созданный Объединенным комитетом практики тестирования (Joint committee on testing practices) по инициативе Американской ассоциации исследований в области образования (American Educational Research Association), Американской психологической ассоциации (American Psychological Association) и Национальным советом по измерениям в области образования (National Council on Measurement in Education) (США). Кодекс, насчитывающий более 20 пунктов, настолько детально описывает требования к разработчикам и пользователям тестов, что оставляет весьма мало места для вероятности систематических ошибок.

Он стандартизирует деятельность как разработчиков образовательных тестов, так и их пользователей в следующих отношениях: 1. Разработка / выбор надлежащих тестов; 2. Интерпретация оценок, полученных в виде баллов (очков); 3. Гарантии объективности результатов тестирования; 4. Информирование лиц, проходящих тестирование.

Разработчики тестов действуют в условиях столь жестких и всесторонних ограничений, что это практически полностью исключает появление недоброкачественного теста.

Весьма развернутый характер имеют и требования, предъявляемые Кодексом к пользователям тестов – администраторам, под чьим руководством или контролем осуществляется тестирование. Согласно Кодексу пользователи, прежде всего, должны выбирать такие тесты, которые соответствуют цели, для достижения которой они изначально предназначены, выбирать для тестирования именно такие популяции, для которых предназначен данный тест.

Рассмотрим теперь, что конкретно представляют собой типичные тесты Службы тестирования на примере письменного теста GRE (Graduate Record Examinations – GRE) – государственного вступительного экзамена в магистратуру, который должен пройти каждый желающий поступить на старшие курсы высшего учебного заведения. Мы обращаемся к нему, как к тесту, который безупречно себя зарекомендовал себя в течение более чем полувековой практики. В 1948 г. его прошли 50000 тестируемых, в настоящее время ежегодно его проходят около 1200000 учащихся. Из года в год он совершенствовался, так что ныне (редакция 1999 г.) может рассматриваться в качестве эталонного.

Этот тест сдается при поступлении в американские вузы для учебы по различным магистерским программам. Цель теста GRE – помощь приемным комиссиям вузов в оценке подготовленности абитуриентов к программам, по которым они будут впоследствии учиться. Любая высшая школа США может потребовать результаты этого теста при решении вопроса о допуске студента к программам старших курсов. Помимо поступления на старшие курса университета (Graduate School), результаты GRE используются также при отборе претендентов на студенческий грант или присуждение премии, при отборе претендентов для работы помощником преподавателя или исследовательским помощником (teaching or research assistants), для руководства или консультирования студенческого исследования. Стоимость его прохождения около 100 долл. США.

GRE оценивает знания, полученные ранее учащимся в американском колледже и школе. Существуют разные виды GRE – основной и предметный. Предметный – по таким областям знаний, как биохимия, клеточная и молекулярная биология, биология, химия, вычислительная техника, англо-американская литература, математика, физика, психология. Разные вузы, где студенты обучаются по магистерским программам, требуют для поступления результаты основного теста или предметного. Некоторые школы могут затребовать результаты обоих тестов. Оценки теста действительны в течение 5 лет. Результаты теста прилагаются в дополнение к оценкам, полученным в коллеже и рекомендательным письмам.

Коснемся некоторых характеристик основного теста GRE.

Тест измеряет вербальные, математические, аналитические навыки, приобретенные тестируемым в течение всего предшествующего периода учебно-познавательной деятельности.

Он содержит множественные набор ответов на вопросы. Однако теперь он используется в компьютерной форме. Вместо прежних трех секций (вербальный, количественный и аналитический аспекты измерения) в тесте их теперь 5: вербальная, количественная, аналитического мышления, математических умозаключений, письменного изложения материала на заданную тему.

Общее количество времени, отводимого на его прохождение, составляет до 4 час. Указания в начале каждой секции определяют общее количество вопросов в секции и предельное время подготовки ответов на них.

По результатам теста тестируемому сообщается три оценки:

1. Оценка по вербальной секции в диапазоне 200–800 баллов;

2. Оценка по количественной секции вопросам в таком же диапазоне;

3. Оценка по секции аналитического мышления в диапазоне 0–6 баллов.

Вербальная секция измеряет способность анализировать и оценивать письменный материал, синтезировать информацию, полученную в ходе этого, анализировать отношения между элементами, образующими систему предложений, распознавать отношения между словами и концепциями и т.д. Вербальная секция содержит вопросы, в которых предлагается найти антонимы, аналогии, завершить незаконченное предложение, продемонстрировать понимание прочитанного. Чтобы получить представление о содержании тестирования, приведем некоторые типичные вопросы.

Типовой вопрос, связанный с антонимами. Тестируемый должен выбрать наилучший антоним к слову, напечатанному заглавными буквами (здесь: DIFFUSE).

DIFFUSE: (рассеивать)

(A) concentrate (концентрировать)

(B) contend (бороться)

(D) pretend (симулировать)

(E) rebel (восставать).

В этом случае наилучший ответ, который должен выбрать тестируемый, – (А).

Типовой вопрос, связанный с аналогиями. Тестируемый должен выбрать наилучший антоним к паре слов, напечатанных заглавными буквами (здесь: COLOR : SPECTRUM).

COLOR : SPECTRUM : (цвет : спектр)

(A) tone : scale (тон : шкала)

(B) sound : waves (звук : волны)

(D) dimension : space (измерение : пространство)

(E) cell : organism (клетка : организм)

Наиболее правильный ответ – (А).

Типовое задание на завершение незаконченного предложения. Тестируемый должен вставить вместо пробелов слова, которые наиболее точно вписываются в смысл приведенного в тесте предложения. Например:

Early ________ of hearing loss is ________ by the fact that the other senses are able to compensate for moderate amounts of loss, so that people frequently do not know that their hearing is imperfect. (Раннее__________потери слуха ________тем фактом, что другие органы чувств способны компенсировать до умеренной степени потерю, так что люди часто не знают, что их слух не совершенен).

(A) discovery . . indicated

(B) development . . prevented

(D) treatment . . facilitated

(E) incidence . . corrected

В этом случае правильный ответ – (С): Early detection of hearing loss is complicated by the fact that the other senses are able to compensate for moderate amounts of loss, so that people frequently do not know that their hearing is imperfect. (Раннее обнаружение потери слуха осложняется тем фактом, что другие органы чувств способны компенсировать до умеренной степени потерю, так что люди часто не знают, что их слух не совершенен).

Типовой вопрос, связанный с пониманием прочитанного. В приводимом примере тестируемый должен решить, чем принципиально отличаются два противоположных идеала фотографии:

(A) value that each places on the beauty of the finished product (значением, которое придается красоте законченной продукции)

(B) emphasis that each places on the emotional impact of the finished product (акцентом, который придается эмоциональному воздействию законченной продукции)

(C) degree of technical knowledge that each requires of the photographer (уровнем технических знаний, который каждый требует от фотографа)

(D) extent of the power that each requires of the photographer’s equipment (степенью мощности, который каждый требует от фотоаппаратуры)

(E) way in which each defines the role of the photographer (путем, который каждый определяет роль фотографа).

Наиболее правильный ответ – (Е).

Типовой вопрос количественной секции: что больше: 9,8 или “корень квадратный из 100? Разумеется, последнее, ибо корень квадратный из 100 равняется 10. Далеко не все вопросы количественной секции столь просты.

Аналитическая секция проверяет критическое мышление и письменные аналитические навыки тестируемых. Типовые вопросы сводятся к тому, чтобы тестируемый в течение 45 минут изложил свою точку зрения на сформулированную в тесте проблему, а также в течение 30 минут проанализировал аргументы приведенного в тесте задания.

Типовая проблема секции: “В наше время специалисты всех видов ценятся слишком высоко. Мы больше нуждаемся в людях, способных к обобщениям, которые могут обеспечить широкие перспективы видения проблем”. Тестируемый должен обосновать свой подход к решению заложенной в отрывке проблемы.

Письменные сочинения тестируемых по окончании процедуры проверки аналитических способностей проверяются специально подготовленными экзаменаторами из числа преподавателей колледжей и университетов и в соответствии с установленными критериями оцениваются по 6-тибалльной шкале. Особенность вопросов данной секции в том, что она не нацелена на проверку конкретных знаний, ее главная задача – определение уровня аналитического мышления тестируемого.

Анализ теста GRE убедительно свидетельствует о том, что этот тест, как и большинство других, представляет собой мощное, точное, тонкое, объективное, эффективное средство изучения свойств личности студента.

Завершая краткий анализ теории и практики тестирования за рубежом, с сожалением приходится констатировать, что значительная часть ценнейшего опыта США не может быть использована напрямую российской системой высшего профессионального образования. Главная причина заключается в том, что она крайне далека еще от реализации идей глобализации образования, от включения в известный Болонский процесс. Содержание подавляющего большинства учебных дисциплин, преподаваемых в вузах России, существенным образом отличается от соответствующих аналогов США. Задача их глобальной унификации исключительно сложна, трудоемка и далеко не всегда возможна. Сказанное, само собой разумеется, не касается тестов, которые напрямую не привязаны к конкретному содержанию учебных дисциплин. Они могут и должны использоваться в отечественной педагогической практике.

Отсюда и наш вывод о том, что в условиях ощутимой несовместимости образовательных систем российским педагогам придется провести огромную работу по подготовке тестов самостоятельно, правда, опираясь на теоретические, методические и практические достижения высшей школы США.